The number of international benchmarking competitions is steadily increasing in various fields of machine learning (ML) research and practice. So far, however, little is known about the common practice as well as bottlenecks faced by the community in tackling the research questions posed. To shed light on the status quo of algorithm development in the specific field of biomedical imaging analysis, we designed an international survey that was issued to all participants of challenges conducted in conjunction with the IEEE ISBI 2021 and MICCAI 2021 conferences (80 competitions in total). The survey covered participants' expertise and working environments, their chosen strategies, as well as algorithm characteristics. A median of 72% challenge participants took part in the survey. According to our results, knowledge exchange was the primary incentive (70%) for participation, while the reception of prize money played only a minor role (16%). While a median of 80 working hours was spent on method development, a large portion of participants stated that they did not have enough time for method development (32%). 25% perceived the infrastructure to be a bottleneck. Overall, 94% of all solutions were deep learning-based. Of these, 84% were based on standard architectures. 43% of the respondents reported that the data samples (e.g., images) were too large to be processed at once. This was most commonly addressed by patch-based training (69%), downsampling (37%), and solving 3D analysis tasks as a series of 2D tasks. K-fold cross-validation on the training set was performed by only 37% of the participants and only 50% of the participants performed ensembling based on multiple identical models (61%) or heterogeneous models (39%). 48% of the respondents applied postprocessing steps.

In this article, we use artificial intelligence algorithms to show how to enhance the resolution of the elementary particle track fitting in inhomogeneous dense detectors, such as plastic scintillators. We use deep learning to replace more traditional Bayesian filtering methods, drastically improving the reconstruction of the interacting particle kinematics. We show that a specific form of neural network, inherited from the field of natural language processing, is very close to the concept of a Bayesian filter that adopts a hyper-informative prior. Such a paradigm change can influence the design of future particle physics experiments and their data exploitation.

如今，自定进度的学习（SPL）是模仿人类和动物的认知过程的重要机器学习范式。 SPL制度涉及自定进度的正常化程序和逐渐增加的年龄参数，该参数在SPL中起着关键作用，但最佳地终止此过程仍然是不平凡的。一个自然的想法是计算解决方案路径W.R.T.年龄参数（即年龄 - 路径）。但是，当前的年龄段算法要么仅限于最简单的正常器，要么缺乏牢固的理论理解以及计算效率。为了应对这一挑战，我们提出了一个小说\下划线{g} Eneralized \ suespline {ag} e-path \ usewassline {a} lgorithm（gaga）spl，用于带基于普通微分方程（ODES）的各种自定为常规器的SPL，并设置控制，可以学习整个解决方案频谱W.R.T.一系列年龄参数。据我们所知，GAGA是第一个确切的途径遵循算法，该算法可以解决一般的自定为常规器的年龄段。最后，详细描述了经典SVM和Lasso的算法步骤。我们证明了GAGA在现实世界数据集上的性能，并在我们的算法和竞争基线之间找到相当大的加速。

深度学习（DL）模型的解释性可以说是值得信赖的AI面前的障碍。尽管可以解释的AI（XAI）社区做出了巨大的努力，但解释缺乏鲁棒性 - 与众不同的输入扰动可能会导致不同的XAI结果。因此，考虑到XAI技术，评估DL可解释性的可靠性至关重要。为此，我们确定了最先进的挑战，即最先进的挑战：i）XAI技术是高度异质的； ii）误解通常是罕见的事件； iii）最坏情况和整体鲁棒性都是实践意义的。在本文中，我们提出了两种评估方法来解决它们 - i）它们具有基于遗传算法（GA）和子集模拟（SS）的黑盒性质； ii）GA使用定制健身函数来有效地解决受约束的优化，而SS则致力于估计稀有事件概率； iii）引入了两个不同的指标，涉及最坏的解释差异和\ textit {}一般情况下的概率概念。我们进行实验，以研究优于最先进的方法的准确性，敏感性和效率。最后，我们展示了我们的方法的两种应用，用于对强大的XAI方法进行排名，并选择培训方案以提高分类和解释鲁棒性。

通过使用智能电表，零售商可以收集有关消费者行为的大量数据。从收集的数据中，零售商可以获取家庭概况信息并实施需求响应。尽管零售商更喜欢在不同客户中获取尽可能准确的模型，但有两个主要挑战。首先，零售市场中的不同零售商不会共享消费者的电力消耗数据，因为这些数据被视为其资产，这导致了数据岛的问题。其次，由于不同的零售商可以为各种消费者服务，因此电力负载数据是高度异质的。为此，提出了基于共识算法和长期记忆（LSTM）的完全分布的短期负载预测框架，这可能保护客户的隐私并满足准确的负载预测要求。具体而言，利用完全分布式的学习框架进行分布式培训，并采用共识技术来符合机密隐私。案例研究表明，所提出的方法具有相当的性能，而对准确性的集中方法具有相当的性能，但是所提出的方法显示了训练速度和数据隐私的优势。

联合学习（FL）提供了一种高效的分散机器学习框架，其中培训数据仍然在网络中的远程客户端分发。虽然FL实现了使用物联网设备的隐私保留的移动边缘计算框架，但最近的研究表明，这种方法易于来自远程客户端的侧面中毒攻击。要解决FL的中毒攻击，我们提供了一个\ Textit {两阶段}防御算法，称为{lo} cal {ma}恶意的事实{r}（lomar）。在I阶段I中，通过使用内核密度估计方法测量其邻居的相对分布，LOMAR从每个远程客户端进行模型更新。在II阶段，最佳阈值近似以从统计角度来区分恶意和清洁更新。已经进行了四个现实数据集的综合实验，实验结果表明，我们的防御策略可以有效保护FL系统。 {具体来说，标签翻转攻击下的亚马逊数据集上的防御性能表明，与FG + Krum相比，LOMAR从96.0 \％$ 98.8 \％$ 96.0 \％$ 98.8 \％$增加目标标签测试精度，以及90.1美元的总平均测试准确性\％$至97.0 \％$。

嵌入在自主系统中的机器学习（ML）组件的增加使用 - 所谓的启用学习的系统（LES） - 导致压力需要确保其功能安全性。至于传统的功能安全，在工业和学术界的新兴共识是为此目的使用保证案例。通常，保证案例支持可靠性的支持权，支持安全性，并且可以被视为组织争论和从安全分析和可靠性建模活动产生的证据的结构化方式。虽然这些保证活动传统上由基于协商一致的标准，但由于ML模型的特点和设计，在安全关键应用中，LES构成了新的挑战。在本文中，我们首先向LES提出了一种强调定量方面的总体保证框架，例如，打破系统级安全目标与可靠性指标中所述的组件级要求和支持索赔。然后，我们向ML分类器介绍一种新的模型 - 不可能可靠性评估模型（RAM），该分类器利用操作简档和鲁棒性验证证据。我们讨论了模型假设以及评估我们RAM揭示的ML可靠性的固有挑战，并提出了实用的解决方案。还基于RAM开发了较低ML组件级的概率安全争论。最后，为了评估和展示我们的方法，我们不仅对合成/基准数据集进行实验，还展示了我们对模拟中自动水下车辆的综合案例研究的方法。

尽管深度强化学习（DRL）为控制机器人和自主系统（RAS）的控制提供了变革能力，但DRL的黑盒性质和不确定的RAS部署环境对其可靠性构成了新的挑战。尽管现有的作品对DRL政策施加了限制，以确保成功完成任务，但考虑到所有可靠性的属性，以整体方式评估DRL驱动的RA远远不足。在本文中，我们正式定义了时间逻辑中的一组可靠性属性，并构建离散时间马尔可夫链（DTMC），以建模DRL驱动的RAS的风险/失败动力学与随机环境相互作用。然后，我们在设计的DTMC上进行概率模型检查（PMC）以验证这些属性。我们的实验结果表明，所提出的方法是作为整体评估框架有效的，同时发现可能需要在培训中需要权衡取舍的物业之间的冲突。此外，我们发现标准DRL培训无法提高可靠性属性，因此需要定制优化目标。最后，我们的方法对环境的干扰水平的可靠性分析提供了敏感性分析，从而提供了保证实际RA的见解。

Web搜索是人类获取信息的重要方法，但是对于了解网页内容的机器仍然是一个巨大的挑战。在本文中，我们介绍了对网上结构阅读理解（SRC）的任务。鉴于网页和关于它的问题，任务是从网页找到答案。此任务要求系统不仅要了解文本的语义，还需要了解文本的语义，还需要网页的结构。此外，我们提出了一种新的基于Web的结构阅读理解数据集。 WebSRC由400K问答对组成，从6.4K网页收集。与QA对一起，我们的数据集还提供了相应的HTML源代码，屏幕截图和元数据。 WebSRC中的每个问题都需要对网页的某种结构理解来回答，并且答案是网页或是/否的文本跨度。我们评估我们数据集的各种基线，以显示我们的任务难度。我们还研究了结构信息和视觉功能的有用性。我们的数据集和基线已在HTTPS://x-lance.github.io/websrc/上公开提供。

决策模块使自动车辆能够在复杂的城市环境中达到适当的演习，尤其是交叉路口情况。这项工作提出了一种深度加强学习（DRL）基于无罪的自动车辆的无罪化交叉口的左转决策框架。所研究的自动化车辆的目的是在四向无信号化交叉路口中进行高效和安全的左转操纵。已漏洞的DRL方法包括深Q学习（DQL）和双DQL。仿真结果表明，所提出的决策策略可以有效地降低碰撞率并提高运输效率。这项工作还揭示了构造的左转控制结构具有实时应用的巨大潜力。